Mai Đại Từ sinh năm 1948 tại xã Hải Vân, huyện Hải Hậu, tỉnh Nam Định. Ông nhập ngũ từ tháng 8 năm 1967, lần lượt trải qua nhiều vị trí như Phó đại đội trưởng, Trợ lý tác chiến, Phó tham mưu trưởng, Phó trung đoàn trưởng kiêm Tham mưu trưởng của Trung đoàn 165 thuộc Sư đoàn 7, Quân đoàn 4. Năm 1984, sau khi được cử đi học tại Học viện Lục quân, ông trở thành Trung đoàn trưởng Trung đoàn 165 và Phó tham mưu trưởng Sư đoàn 7. Sau 2 năm tiếp tục theo học tại Học viện Quốc phòng, từ tháng 8 năm 1991, ông lần lượt được bổ nhiệm làm Tham mưu trưởng và Sư đoàn trưởng Sư đoàn 7.[2]

Đến tháng 7 năm 1998, ông được thăng làm Phó tư lệnh, Tham mưu trưởng của Quân đoàn 4. Trong khoảng thời này, ông được phong quân hàm Đại tá và tiếp tục theo học Cao cấp lý luận chính trị tại Học viện Chính trị.[3] Tháng 9 năm 2004, ông được điều làm Phó hiệu trưởng Trường Sĩ quan Lục quân 2 và đảm nhiệm vị trí này cho đến khi về hưu vào tháng 6 năm 2010.[4]